前面的文章《AI进化的速度有多快,再看AI学习徐悲鸿画马》提到了目前由于微调模型的火热,使用各种微调训练模型多有不便,结果这两天就有了在不同模型之间快速切换的程序,所以本文先给大家推荐一下这个可以快速体验不同模型的程序,程序里内置了15个最近比较火的一些模型,可以快速切换体验,后续应该还会增加更多模型。
Huggingface地址:
https://huggingface.co/spaces/anzorq/finetuned_diffusion
Colab地址:
https://colab.research.google.com/gist/qunash/42112fb104509c24fd3aa6d1c11dd6e0/copy-of-fine-tuned-diffusion-gradio.ipynb#scrollTo=g51-cBLlTsO4
以上程序直接内置了多个开发者训练的微调模型,并且huggingface版对应的调用参数也不需要单独添加,直接内置在了程序里,而Colab版需要单独输入对应的参数,具体看各个模型的说明即可。
那么我们自己训练的模型该如何调用呢?现在很多Stable Diffusion程序都可以方便的添加新模型,以AUTOMATIC1111为例,只要把自己训练的模型.ckpt文件上传到GDrive,然后修改Colab中的“模型下载/加载”,将GDrive路径粘贴到微调模型地址这部分即可,还可以将多个模型文件上传到一个单独的文件夹,然后在这里只填写文件夹路径,如下图。
在这里想特别推荐一下其中的Midjourney微调模型,这几天由于Midjourney新版的推出,很多人又开始在Midjourney里流连忘返了,但还有很多用户因为各种原因无法体验Midjourney。于是有开发者用50张精选的Midjourney图片,训练了2000步,微调出了一个Midjourney风格的模型。模型地址:https://huggingface.co/prompthero/midjourney-v4-diffusion使用方法:只需在提示语中增加'mdjrny-v4 style'即可。当然这个模型只是模拟了Midjourney的图像风格,并没有体现Midjourney的完整功能,例如语义分析理解能力以及其他优点,但使用这个微调模型后,完成的图片质量有明显的提高。同时要说明的是,目前这个模型是基于Midjourney V3版本的图片训练的,因为V4版刚推出,开发者表示还需要一段时间收集V4版的优秀作品再训练。简单展示一下同样的提示语,在Stable Diffusion标准版和Midjourney微调模型下的表现。上面几张是Stable Diffusion标准版的结果,可以看到不论是方形还是长方形比例的图,在构图方面还需要更多的提示语调整,还有很多张是构图完全失败的,下面看一下使用了Midjourney模型的结果。可以看到在构图方面是零失败率,而在细节方面更是超级精美,当然一个缺点就是太精美了,有些不像真人,但这个问题也是可以通过提示语调整的。
第一张是Stable Diffusion标准版,后面几张是Midjourney微调版。
第一张是Stable Diffusion标准版,后面几张是Midjourney微调版。
第一张是Stable Diffusion标准版,下面三张是Midjourney微调版。所有的提示语在微调模型中都取得了较好的构图和风格展示,对Midjourney感兴趣的朋友可以试试这个模型。这篇文章的主要内容就到这里了,你可以用自己的各种提示语测试体验,如果懒得写提示语,可以付费使用下面我的提示语、负面提示语、采样器、步数设置,包含上面全部四种图形的提示语。